The structure of verbal sequences analyzed with unsupervised learning techniques

Data mining allows the exploration of sequences of phenomena, whereas one usually tends to focus on isolated phenomena or on the relation between two phenomena. It offers invaluable tools for theoretical analyses and exploration of the structure of sentences, texts, dialogues, and speech. We report here the results of an attempt at using it for inspecting sequences of verbs from French accounts of road accidents. This analysis comes from an original approach of unsupervised training allowing the discovery of the structure of sequential data. The entries of the analyzer were only made of the verbs appearing in the sentences. It provided a classification of the links between two successive verbs into four distinct clusters, allowing thus text segmentation. We give here an interpretation of these clusters by applying a statistical analysis to independent semantic annotations

Hierarchical Optimal Transport for Unsupervised Domain Adaptation

In this paper, we propose a novel approach for unsupervised domain adaptation, that relates notions of optimal transport, learning probability measures and unsupervised learning. The proposed approach, HOT-DA, is based on a hierarchical formulation of optimal transport, that leverages beyond the geometrical information captured by the ground metric, richer structural information in the source and target domains. The additional information in the labeled source domain is formed instinctively by grouping samples into structures according to their class labels. While exploring hidden structures in the unlabeled target domain is reduced to the problem of learning probability measures through Wasserstein barycenter, which we prove to be equivalent to spectral clustering. Experiments on a toy dataset with controllable complexity and two challenging visual adaptation datasets show the superiority of the proposed approach over the state-of-the-art

A survey on domain adaptation theory: learning bounds and theoretical guarantees

All famous machine learning algorithms that comprise both supervised and semi-supervised learning work well only under a common assumption: the training and test data follow the same distribution. When the distribution changes, most statistical models must be reconstructed from newly collected data, which for some applications can be costly or impossible to obtain. Therefore, it has become necessary to develop approaches that reduce the need and the effort to obtain new labeled samples by exploiting data that are available in related areas, and using these further across similar fields. This has given rise to a new machine learning framework known as transfer learning: a learning setting inspired by the capability of a human being to extrapolate knowledge across tasks to learn more efficiently. Despite a large amount of different transfer learning scenarios, the main objective of this survey is to provide an overview of the state-of-the-art theoretical results in a specific, and arguably the most popular, sub-field of transfer learning, called domain adaptation. In this sub-field, the data distribution is assumed to change across the training and the test data, while the learning task remains the same. We provide a first up-to-date description of existing results related to domain adaptation problem that cover learning bounds based on different statistical learning frameworks

Apprentissage Connexionniste

L'apprentissage connexionniste est une discipline scientifique qui recouvre plusieurs aspects d'études mathématiques, statistiques et algorithmiques. Les systèmes d'apprentissage connexionnistes (ou réseaux de neurones artificiels) sont des systèmes numériques permettant la modélisation de processus généraux par l'établissement de modèles fonctionnels. Ceux-ci sont identifiés à partir des observations du processus par des algorithmes dits "d'apprentissage" qui s'apparentent à des techniques d'estimation statistiques. Nés en informatique dans le domaine de l'intelligence artificielle, ils ont connu depuis le début des années 80 un développement intensif dû au succès rencontré dans une très large gamme d'applications. Les réseaux connexionnistes offrent une panoplie de techniques adaptatives pour de nombreux problèmes génériques : la classification, le classement, la modélisation, la prévision. Les applications de ces techniques sont très stratégiques, notamment pour la fouille de données et la reconnaissance des formes. Cet ouvrage présente les fondements théoriques et algorithmiques de l'apprentissage connexionniste. Il s'adresse aux étudiants, élèves-ingénieurs, enseignants, chercheurs, ingénieurs et industriel en informatique, et mathématiques appliquées

Réseaux de neurones artificiels

L'apprentissage connexionniste est une discipline scientifique qui recouvre plusieurs aspects d'études mathématiques, statistiques et algorithmiques. Les systèmes d'apprentissage connexionnistes (ou réseaux de neurones artificiels) sont des systèmes numériques permettant la modélisation de processus généraux par l'établissement de modèles fonctionnels. Ceux-ci sont identifiés à partir des entrées-sorties du processus par des algorithmes dits "d'apprentissage" qui s'apparentent à des techniques d'estimation statistiques. Nés en informatique dans le domaine de l'intelligence artificielle, ils ont connu depuis le début des années 80 un développement intensif dû au succès rencontré dans une très large gamme d'applications. Les réseaux connexionnistes offrent une panoplie de techniques adaptatives pour de nombreux problèmes génériques : la classification, le classement, la modélisation, la prévision. Parmi les domaines où ils ont été utilisés, on peut citer le traitement du signal, de l'image, de la parole, le contrôle, la prévision, l'optimisation combinatoire, le diagnostic, la fouille de données, ... Il s'agit donc d'un outil général pouvant être utilisé dans des cadres différents avec une grande souplesse. Les modèles connexionnistes apparaissent comme une alternative ou plus souvent comme un complément aux techniques classiques. Les recherches dans le domaine sont extrêmement actives actuellement. Plusieurs laboratoires tant industriels qu'universitaires participent à cette recherche en Europe, aux États-Unis et au Japon. Différentes voies ont déjà été explorées et les réseaux connexionnistes sont devenus un outil incorporé dans différents logiciels commercialisés pour les statistiques, la fouille de données, le traitement du signal et l'identification de systèmes

Approches connexionnistes pour la visualisation et la classification des données issues d'usages d'Internet

PARIS13-BU Sciences (930792102) / SudocSudocFranceF